%	\chapter{大数定律与中心极限定理}
	大数定律主要研究当满足一定条件的随机变量$X_i,\cdots,X_n$足够多，也就是$n\to\infty$时，这些随机变量的均值
	\begin{equation}
	\frac{S_n}{n}=\frac{1}{n}\sum_{i=1}^n X_i
	\end{equation}
	将会如何收敛到其数学期望。
	
	而中心极限定理则回答了为何自然界中正态分布如此常见的原因。如果一个量是由大量相互独立的随机因素的影响所造成，而且每一个别因素在总影响中所起的作用不是很大，那么这种量都服从或者近似服从正态分布。
	
	\section{弱大数定律}
	首先定义依概率收敛
	\begin{definition}[依概率收敛]
		设随机变量列$X_n$对于$\forall\epsilon>0$都有
		\begin{equation}
		\lim\limits_{n\to\infty}P(|X_n-X|\geq 0)=0
		\end{equation}
		则称$X_n$依概率收敛到$X$，记为$X_n\stackrel{P}{\to}X$。
	\end{definition}

回顾第三章中的Markov不等式，有对于$\forall\epsilon>0$，
\begin{equation}
P(|X-EX|\geq\epsilon)\leq \frac{E|X-EX|^p}{\epsilon^p},\quad p>0
\end{equation}
那么可以定义$L^p$收敛
\begin{definition}[$L^p$收敛]
	随机变量列$X_n$满足
	\begin{equation}
	\lim\limits_{n\to\infty}\|X_n-X\|_p=0
	\end{equation}
	则称$X_n$满足$L^p$收敛于$X$，记为$X_n\stackrel{L}{\to}X$。其中$\|\cdot\|_p$是$L^p$范数，也就是
	\begin{equation}
	\|X\|_p=(E|X|^p)^{\frac{1}{p}}
	\end{equation}
\end{definition}

\begin{theorem}[$p$阶收敛必然依概率收敛]
	设$X_n$是随机变量列$L^p$收敛于$X$，则$X_n\stackrel{P}{\to}X$，并且$E|X_n|^p\to E|X|^p$
\end{theorem}
\begin{proof}
	利用Markov不等式，$\forall\epsilon>0$，都有
	\begin{equation}
	P(|X_n-X|\geq\epsilon)\leq \frac{1}{\epsilon^p}\|X_n-X\|_p^p\to 0,\quad n\to\infty
	\end{equation}
	所以$X_n$依概率收敛于$X$。另外根据三角不等式，有
	\begin{equation}
	|\|X_n\|-\|X\|_p|\leq \|X_n-X\|_p\to 0,\quad n\to\infty
	\end{equation}
	从而$E|X_n|^p\to E|X|^p$。\qed
\end{proof}

\begin{theorem}[Chebyshev弱大数定律]
	设$\{x_n\}_{n\geq 1}$是两两不相关的随机变量列，且$\sup\limits_{n} DX_n$有界，则
	\begin{equation}
	\lim\limits_{n\to\infty}P\left(\frac{1}{n}\sum_{i=1}^n(X_i-EX_i)\right)=0
	\end{equation}
\end{theorem}
\begin{proof}
	根据Chebyshev不等式，对于$\forall\epsilon>0$，有
	\begin{equation}
	P\left(\frac{1}{n}\sum_{i=1}^n(X_i-EX_i)\right)\leq \frac{1}{\epsilon^2}D\left(\frac{1}{n}\sum_{i=1}^n(X_i-EX_i)\right)
	\end{equation}
	而
	\begin{equation}
	R.H.S=\frac{1}{n^2\epsilon^2}D\left(\sum_{i=1}^n(X_i-EX_i)\right)\leq \frac{1}{n\epsilon^2}\sup\limits_{i}DX_i\to 0,\quad n\to\infty
	\end{equation}
\end{proof}

接下来的伯努利弱大数定律回答了，为何我们可以通过试验无限多次，然后用频率来逼近概率。
\begin{theorem}[伯努利弱大数定律]
	设事件$A$发生的概率为$p$。做独立重复试验，前$n$次试验中$A$发生$v_n$次，则
	\begin{equation}
	\lim\limits_{n\to\infty}P\left(\frac{v_n}{n}\right)=p
	\end{equation}
\end{theorem}
\begin{proof}
	设随机变量列为
	\begin{equation}
	X_i=\begin{cases}
	0,\quad \text{第}i\text{次发生}\\
	1,\quad \text{第}i\text{次不发生}
	\end{cases},\quad v_n=\sum_{i=1}^{n}X_i
	\end{equation}
	且$X_1,\cdots,X_n$独立同分布。根据Chebyshev大数定律，
	\begin{equation}
	\lim\limits_{n\to\infty}P\left(\frac{1}{n}\sum_{i=1}^{n}(X_i-EX_i)\right)=\lim\limits_{n\to\infty}P\left(\frac{v_n-p}{n}\right)=0
	\end{equation}
	\qed
\end{proof}

最后还有一个Khinchine弱大数定律
\begin{theorem}[Khinchine弱大数定律]
	设$X_n$是独立同分布的随机变量列，$EX_n$存在且有限，则
	\begin{equation}
	\lim\limits_{n\to\infty}P\left(\frac{1}{n}\sum_{i=1}^n(X_i-EX_i)\right)=0
	\end{equation}
\end{theorem}
证明略。

这三种弱大数定律都是有条件的，它们的共同特点就是对于满足一定条件的独立同分布随机变量列，如果取出的随机变量个数足够多，那么这些随机变量的平均值依概率收敛到其期望。

下一节讨论的几乎必然收敛与依概率收敛的关系，可以指出为什么这些依概率收敛的大数定律被称为“弱”的。相应地，几乎必然收敛的大数定律就是“强”的。

	\section{几乎必然收敛与依概率收敛}
	设$(\Omega,\mathfrak{F},P)$是概率空间，讨论几乎必然收敛和依概率收敛的关系。
	

	\begin{definition}[几乎必然收敛]
		如果存在$A\in\mathfrak{F}$满足$P(A)=0$，使得对于$\forall\omega\in A^{c}$，$X_n(\omega)\to X(\omega)$，则称$X_n$几乎必然收敛到$X$，记为$X_n\stackrel{a.s.}{\to}X$。
	\end{definition}
	利用极限的唯一性可以证明，这两种收敛的极限几乎必然唯一。几乎必然收敛可以推出依概率收敛，但反过来并不成立。例如，令$\Omega=(0,1]$，$\mathfrak{F}=(0,1]\cap\mathfrak{B}(\mathbb{R})$是Borel $\sigma-$代数，把$P$取为$\mathfrak{B}(\mathbb{R})$上的Lebesgue测度。令
	\begin{equation}
	\eta_{ki}(\omega)=\begin{cases}
	1,\quad\omega\in\left(\left.\frac{i-1}{k},\frac{i}{k}\right]\right.\\
	0,\quad\omega\notin\left(\left.\frac{i-1}{k},\frac{i}{k}\right]\right.
	\end{cases}
	\end{equation}
	其中$k=1,2,\cdots$，$i=1,2,\cdots,k$。定义
	\begin{equation}
	X_n=\eta_{ki},\quad n=i+\frac{k(k-1)}{2}\quad (X_1=\eta_{11}, X_2=\eta_{21}, X_3=\eta_{22},\cdots)
	\end{equation}
	对于$\forall\omega\in\Omega$，有无穷个$n$使得$X_n(\omega)=0$，也同样有无穷多个$n$使得$X_n(\omega)=1$，所以不可能几乎必然收敛为0，$X_n\stackrel{a.s.}{\nrightarrow}0$。
	
	但是另一方面，对于$\forall\epsilon\in(0,1)$，都有
	\begin{equation}
	P(X_n(\omega)>\epsilon)=P(\eta(\omega)>\epsilon)=P\left(\frac{i-1}{k}<\omega\leq\frac{i}{k}\right)=\frac{1}{k}
	\end{equation}
	当$n\to\infty$时，根据
	\begin{equation}
	n=i+\frac{k(k-1)}{2}\leq\frac{k(k+1)}{2}
	\end{equation}
	可知$k\to\infty$。此时$\lim\limits_{n\to\infty}P(X_n>\epsilon)=0$，从而$X_n\stackrel{P}{\to}0$。
	
	进一步讨论几乎必然收敛，需要了解事件的序列运算。设$A_1,\cdots,A_n,\cdots$是一系列事件，则$\bigcup_{n=k}^{\infty}A_n$表示时间序列$A_k,A_{k+1},\cdots$中至少发生一个，而$\bigcap_{n=k}^{\infty}A_n$则表示$A_k,A_{k+1},\cdots$同时发生。据此，可以定义上极限集以及下极限集：
	\begin{definition}[上极限集]
		称
		\begin{equation}
		\bigcap_{k=1}^{\infty}\bigcup_{n=k}^{\infty}A_n=\{\omega:\omega\text{在无穷多个}A_n\text{中}\}=\{\omega:\forall j\in\mathbb{N},\exists k\geq j(x\in A_k)\}
		\end{equation}
		为$A_n$的上极限集，记为$\lim\limits_{n\to\infty}\sup A_n$
	\end{definition}
	上极限集表示$A_n$发生无穷多次，这是因为
	\begin{equation}
	\omega\in\bigcap_{k=1}^{\infty}\bigcup_{n=k}^{\infty}A_n
	\end{equation}
	当且仅当$\omega$属于无穷多个$A_n$。换句话说，对于$\forall k\geq 1$，存在$n\geq k$，使得$\omega\in A_n$。每指定一个$k$，都要有一个$n$来对应，而接下来又可以指定下一个比之前$n$要大的$k$，如此循环，就有无限多个$A_n$。
	
	\begin{definition}[下极限集]
		称
		\begin{equation}
		\bigcup_{k=1}^{\infty}\bigcap_{n=k}^{\infty}A_n=\{\omega:\omega\text{不在至多有限个}A_n\text{中}\}=\{\omega:\exists j_0\in\mathbb{N}, \exists k\geq j_0 (x\in A_k)\}
		\end{equation}
		为$A_n$的下极限集，记为$\lim\limits_{n\to\infty}\inf A_n$
	\end{definition}
	下极限集表示$A_n$至多只有有限个不发生，因为
	\begin{equation}
	\omega\in\bigcup_{k=1}^{\infty}\bigcap_{n=k}^{\infty}A_n
	\end{equation}
	当且仅当存在$N$使得$\omega\in\bigcup_{n=N}^{\infty}A_n$，因此如果$\omega$发生，则$A_N,A_{N+1},\cdots$同时发生，这时至多只有前面$N-1$各事件$A_1,\cdots,A_{N-1}$可能不发生(但也有可能有些发生)。
	
	\begin{theorem}[几乎必然收敛的刻画]
		随机变量列$X_n\stackrel{a.s.}{\to}X$，当且仅当对于$\forall\epsilon>0$，
		\begin{equation}
		P\left(\bigcap_{k=1}^{\infty}\bigcup_{n=k}^{\infty}(|X_n-X|\geq\epsilon)\right)=0
		\end{equation}
	\end{theorem}
	\begin{proof}
		利用
		\begin{equation}
		\{x:x<\epsilon\}=\bigcap_{n=1}^{\infty}\{x:x\geq\frac{1}{n}\}
		\end{equation}
		有
		\begin{equation}
		X_n\stackrel{a.s.}{\to}X\Leftrightarrow P\left(\lim_{n\to\infty}X_n=X\right)=1\Leftrightarrow P(\{\omega\in\Omega:X_n(\omega)\to X(\omega)\})=1
		\end{equation}
		用$\epsilon-N$语言来描述这件事情，就是$\omega$满足
		\begin{equation}
		\forall k\geq 1,\ \exists N\geq 1,\ s.t.\ \forall i\geq N,\ |X_i(\omega)-X(\omega)|<\frac{1}{k} 
		\end{equation}
		所组成的集合的概率测度为$1$。相应地，用集合论的语言来描述这件事情，$\forall $变成了交，$\exists$变成了并，也就是
		\begin{equation}
		P\left(\bigcap_{k=1}^{\infty}\bigcup_{n=1}^{\infty}\bigcap_{i=n}^{\infty}\{\omega:|X_n(\omega)-X(\omega)|<\frac{1}{k}\}\right)=1
		\end{equation}
		从而其补集，用$\epsilon-N$语言来说就是$\omega$满足
		\begin{equation}
		\exists k\geq 1,\ \forall N\geq 1,\ s.t.\ \exists i\geq N, |X_i(\omega)-X(\omega)|\geq \frac{1}{k}
		\end{equation}
		所组成的集合的概率测度为$0$。用集合论的语言来说就是
		\begin{equation}
		P\left(\bigcup_{k=1}^{\infty}\bigcap_{n=1}^{\infty}\bigcup_{i=n}^{\infty}\{\omega:|X_n(\omega)-X(\omega)|\geq\frac{1}{k}\}\right)=0
		\end{equation}
		由于单调性和次$\sigma$可加性，可以把最外的并给去掉：
		\begin{equation}
		P\left(\bigcap_{n=1}^{\infty}\bigcup_{i=n}^{\infty}\{\omega:|X_n(\omega)-X(\omega)|\geq\frac{1}{k}\}\right)=0,\quad \forall k\geq 1
		\end{equation}
		最后把$1/k$换成$\epsilon$，就是
		\begin{equation}
		P\left(\bigcap_{n=1}^{\infty}\bigcup_{i=n}^{\infty}\{\omega:|X_n(\omega)-X(\omega)|\geq\epsilon\}\right)=0,\quad \forall \epsilon\geq 0
		\end{equation}
		\qed
	\end{proof}
	
	这种几乎必然收敛的等价刻画可以用来证明几乎必然收敛强于依概率收敛。
	\begin{theorem}[几乎必然收敛强于依概率收敛]
		如果随机变量列$X_n\stackrel{a.s.}{\to}X$，则$X_n\stackrel{P}{\to}X$
	\end{theorem}
	\begin{proof}
		对于$\forall\epsilon>0$，都有
		\begin{equation}
		P\left(\bigcap_{k=1}^{\infty}\bigcup_{n=k}^{\infty}(|X_n-X|\geq\epsilon)\right)=0
		\end{equation}
		此时
		\begin{equation}\begin{aligned}
		\lim\limits_{n\to\infty}P(|X_n-X|\geq\epsilon)&\leq\lim\limits_{k\to\infty}P\left(\bigcup_{n=k}^{\infty}|X_n-X|\geq\epsilon\right)\\
		&=P\left(\bigcap_{k=1}^{\infty}\bigcup_{n=k}^{\infty}|X_n-X|\geq\epsilon\right)=0
		\end{aligned}\end{equation}
		即$X_n\stackrel{P}{\to}X$。\qed
	\end{proof}
	前面给出的反例说明了依概率收敛并不一定几乎必然收敛。但如果加上单调性的条件，就有依概率收敛可推出几乎必然收敛。
	\begin{theorem}[从依概率收敛推出几乎必然收敛的条件]
		如果$\{X_n\}$是单调下降的正随机变量列，且$X_m\stackrel{P}{\to}X$，则$X_n\stackrel{a.s.}{\to}X$
	\end{theorem}
	\begin{proof}
		对于单调下降的$X_n\stackrel{P}{\to}X$，有
		\begin{equation}\begin{aligned}
		\lim\limits_{n\to\infty}P(|X_n-X|\geq\epsilon)&=\lim_{k\to\infty}P\left(\bigcup_{n=k}^{\infty}|X_n-X|\geq\epsilon\right)\\
		&=P\left(\bigcap_{k=1}^{\infty}\bigcup_{n=k}^{\infty}|X_n-X|\geq\epsilon\right)=0
		\end{aligned}\end{equation}
		即$X_n\stackrel{a.s.}{\to}X$。\qed
	\end{proof}
	
	\begin{theorem}[依概率收敛的刻画]
		随机变量列$X_n\stackrel{P}{\to}X$当且仅当对于$\{X_n\}$的子列$\{X_{n}'\}$，都存在子列$\{X_{n_k}'\}_{k\geq 1}$，使得$X_{n_k}'\stackrel{a.s.}{\to}X$。
	\end{theorem}
	\begin{proof}
		必要性：设$X_n\stackrel{P}{\to}X$，则根据定义，其任意子列都有$\{X_n'\stackrel{P}{\to}X\}$，从而对于$\forall k\geq 1$，存在$X_{n_k}'\subset\{X_n'\}$，使得
		\begin{equation}
		P\left(|X_{n_k}'-X|\geq \frac{1}{k}\right)\leq \frac{1}{2^k}
		\end{equation}
		即
		\begin{equation}
		P\left(\bigcup_{k=m}^{\infty}|X_{n_k}'-X|\geq\frac{1}{k}\right)\leq \sum_{k=m}^{\infty}\frac{1}{2^k}=\frac{1}{2^{m-1}}
		\end{equation}
		对于$\forall\epsilon>0$，取$m$充分大，使得$\epsilon>\frac{1}{k},\ k=m,m+1,\cdots$，则对于$j\geq\max\{m,[\frac{1}{\epsilon}]+1\}$，有
		\begin{equation}
		P\left(\bigcup_{k=m}^{\infty}|X_{n_k}'-X|>\epsilon\right)\leq \frac{1}{2^{j-1}}
		\end{equation}
		从而
		\begin{equation}
		\lim\limits_{j\to\infty}P\left(\bigcup_{k=m}^{\infty}|X_{n_k}'-X|>\epsilon\right)=0
		\end{equation}
		也就是
		\begin{equation}
		P\left(\bigcap_{j=1}^{\infty}\bigcup_{k=j}^{\infty}|X_{n_k}'-X|\geq\epsilon\right)=0
		\end{equation}
		
		充分性：用反证法。假设$X_n\stackrel{P}{\to}X$不成立，也就是存在$\epsilon_0>0,\ \delta>0$以及$\{X_{n_m}\}\subset\{X_n\}$，使得
		\begin{equation}
		P(|X_{n_m}-X|\geq\epsilon_0)>\delta>0,\quad \forall n\geq 1
		\end{equation}
		对于该子列而言，
		\begin{equation}\begin{aligned}
		P\left(\bigcap_{k=1}^{\infty}\bigcup_{m=k}^{\infty}|X_{n_m}-X|\geq\epsilon_0\right)&=\lim\limits_{k\to\infty}P\left(\bigcup_{m=k}^{\infty}|X_{n_m}-X|\geq\epsilon_0\right)\\
		&\geq\lim\limits_{m\to\infty}\sup P(|X_{n_m}-X|\geq\epsilon_0)>\delta>0
		\end{aligned}\end{equation}
		这与$X_{n_k}'\stackrel{a.s.}{\to}X$矛盾。
		\qed
	\end{proof}

	最后给出依概率收敛的随机变量的函数的收敛性：
	\begin{theorem}[依概率收敛的函数]
		设$X_n\stackrel{P}{\to}X$，函数$f:\mathbb{R}\to\mathbb{R}$连续，则$f(X_n)\stackrel{P}{\to}f(X)$。
	\end{theorem}
	\begin{proof}
		$X_n\stackrel{P}{\to}X$，则对于$\forall\{X_n'\}\subset\{X_n\}$，存在$\{X_{n_k}'\}\subset\{X_n'\}$，使得
		\begin{equation}
		X_{n_k}'\stackrel{a.s.}{\to}X
		\end{equation}
		由于$f\in C(\mathbb{R})$，所以根据复合函数连续性的定理，有
		\begin{equation}
		f(X_{n_k}')\stackrel{a.s.}{\to}f(X)
		\end{equation}
		从而$f(X_n)\stackrel{P}{\to}f(X)$成立。
		\qed
	\end{proof}
	

	\section{Borel强大数定律}
	首先我们证明Borel-Cantelli引理。
	\begin{theorem}[Borel-Cantelli引理]
	\begin{enumerate}
		\item 我们有
		\begin{equation}
		\sum_{n=1}^{\infty}P(A_n)<+\infty\Rightarrow\ P\left(\bigcap_{k=1}^{\infty}\bigcup_{n=k}^{\infty}A_n\right)=0
		\end{equation}
		也就是说，$A_n$不可能发生无穷多次。
		\item 如果$\{A_n\}$相互独立，则有
		\begin{equation}
		\sum_{n=1}^{\infty}P(A_n)=+\infty\Leftrightarrow\ P\left(\bigcap_{k=1}^{\infty}\bigcup_{n=k}^{\infty}A_n\right)=1
		\end{equation}
		也就是说，$A_n$必然发生无穷多次。
	\end{enumerate}
	\end{theorem}
	\begin{proof}
		\begin{enumerate}
			\item 注意到
			\begin{equation}
			P\left(\bigcap_{k=1}^{\infty}\bigcup_{n=1}^{\infty}A_n\right)\leq P\left(\bigcup_{n=k}^{\infty}A_n\right)\leq\sum_{n=k}^{\infty}P(A_n)\to 0,\quad k\to\infty
			\end{equation}
			
			\item 必要性：根据$A_n$的独立性有
			\begin{equation}
			P\left(\bigcup_{k=1}^{\infty}\bigcap_{n=k}^{\infty}\overline{A}_n\right)\leq\sum_{k=1}^{\infty}P\left(\bigcap_{n=k}^{\infty}\overline{A}_n\right)=\sum_{k=1}^{\infty}\prod_{n=k}^{\infty}P(\overline{A}_n)=\sum_{k=1}^{\infty}\prod_{n=k}^{\infty}(1-P(A_n))
			\end{equation}
			由于
			\begin{equation}
			0\leq 1-P(A_n)\leq e^{-P(A_n)}
			\end{equation}
			所以
			\begin{equation}
			\prod_{n=k}^{\infty}(1-P(A_n))\leq\lim\limits_{N\to\infty}\exp\left(-\sum_{n=k}^{N}P(A_n)\right)=0
			\end{equation}
			故$P(\lim\limits_{n\to\infty}\inf \overline{A}_n)=0$，也就是$P(\lim\limits_{n\to\infty}\sup A_n=1)$。
			
			充分性：如果$P(\lim\limits_{n\to\infty}\sup A_n)=1$，采用反证法，假定
			\begin{equation}
			\sum_{n=1}^{\infty}P(A_n)<\infty
			\end{equation}
			则根据1可得
			\begin{equation}
			P\left(\bigcap_{k=1}^{\infty}\bigcup_{n=k}^{\infty}A_n\right)=0
			\end{equation}
			产生矛盾。矛盾的原因在于假定错误，也就是
			\begin{equation}
			\sum_{n=1}^{\infty}P(A_n)=\infty
			\end{equation}
		\end{enumerate}\qed
	\end{proof}
	
	Borel-Cantelli引理具有另一个名字：
	\begin{corollary}[Borel 0-1律]
		如果$\{A_n\}$相互独立，则
		\begin{equation}\begin{aligned}
		\sum_{n=1}^{\infty}P(A_n)<\infty\Rightarrow\ P\left(\bigcap_{k=1}^{\infty}\bigcup_{n=k}^{\infty}A_n\right)=0\\
		\sum_{n=1}^{\infty}P(A_n)=\infty\Rightarrow\ P\left(\bigcap_{k=1}^{\infty}\bigcup_{n=k}^{\infty}A_n\right)=1
		\end{aligned}\end{equation}
	\end{corollary}
	
	接下来证明Borel强大数定律。这是Borel在1909年对伯努利试验场合建立的。
	\begin{theorem}[Borel强大数定律]
		设$\mu_n$是事件$A$在$n$次独立试验中出现的次数，在每次试验中事件$A$出现的概率均为$p$，则
		\begin{equation}
		\frac{\mu_n}{n}\stackrel{a.s.}{\to}p
		\end{equation}
	\end{theorem}
	\begin{proof}
		根据几乎必然收敛的刻画，只需证明对于$\forall\epsilon>0$，都有
		\begin{equation}
		P\left(\bigcap_{k=1}^{\infty}\bigcup_{n=k}^{\infty}\left\lbrace\left|\frac{\mu_n}{n} - p\right|\geq\epsilon\right\rbrace\right)=0
		\end{equation}
		记
		\begin{equation}
		A_n=\left\lbrace\left|\frac{\mu_n}{n} - p\right|\geq\epsilon\right\rbrace
		\end{equation}
		根据Borel-Cantelli引理，只需证明对于$\forall\epsilon>0$，级数
		\begin{equation}
		\sum_{n=1}^{\infty} P\left\{\left|\frac{\mu_n}{n} - p\right|\geq\epsilon\right\}
		\end{equation}
		均有限即可。根据Markov不等式，有
		\begin{equation}
		 P\left\{\left|\frac{\mu_n}{n} - p\right|\geq\epsilon\right\} \leq \frac{1}{\epsilon^4}E\left|\frac{\mu_n}{n}-p\right|^4
		\end{equation}
		不等式右边要计算四阶中心矩，为此像之前那样引入独立示性随机变量列
		\begin{equation}
		\xi_{n}=\begin{cases}
		1,\quad \text{伯努利试验发生}\\
		0,\quad \text{伯努利试验不发生}
		\end{cases}
		\end{equation}
		于是
		\begin{equation}
		\frac{\mu_n}{n}-p=\frac{1}{n}\sum_{i=1}^n (\xi_i - p)
		\end{equation}
		从而
		\begin{equation}
		E\left(\frac{\mu_n}{n}-p\right)^4=\frac{1}{n^4}\sum_{i=1}^{n}\sum_{j=1}^{n}\sum_{k=1}^{n}\sum_{l=1}^{n}E(\xi_i-p)(\xi_j-p)(\xi_k-p)(\xi_l-p)
		\end{equation}
		由于$\xi_i$是独立的，并且$E(\xi_i-p)=0$，因此，当$i\neq j$时，
		\begin{equation}
		E(\xi_i-p)(\xi_j-p)=E(\xi_i-p)E(\xi_j-p)=0
		\end{equation}
		所以四阶矩中只有$n$项
		\begin{equation}
		E(\xi_i-p)^4=pq(p^3+q^3)=A
		\end{equation}
		以及$C_n^2C_4^2=3n(n-1)$项
		\begin{equation}
		E(\xi_i-p)^2(\xi_j-p)^2=p^2q^2=B
		\end{equation}
		才不为零。也就是说，
		\begin{equation}
		E\left(\frac{\mu_n}{n}-p\right)^4=\frac{1}{n^4}\left(nA+3n(n-1)B\right)\leq \frac{C}{n^2}
		\end{equation}
		于是
		\begin{equation}
		 P\left\{\left|\frac{\mu_n}{n} - p\right|\geq\epsilon\right\} \leq \frac{C}{n^2\epsilon^4}
		\end{equation}
		的和数列收敛。\qed
	\end{proof}
	
	Borel强大数定律给出了这样一个结果：当试验次数无限增加时，频率将趋于概率。相应地，伯努利弱大数定律并不能引申出这个结论，这是因为依概率收敛的事件
	\begin{equation}
	\left|\frac{\mu_n}{n}-p\right|<\epsilon
	\end{equation}
	成立的概率大于$1 - \eta$，不论$\eta$多小。但是，可列个事件
	\begin{equation}
	\left|\frac{\mu_{n+1}}{n+1}-p\right|\geq \epsilon,\cdots,\left|\frac{\mu_{2n}}{2n}-p\right|\geq \epsilon
	\end{equation}
	之并集的概率并不一定趋于零，这意味着上面这些事件中至少有一个发生仍是可能的，并不趋于零。对比于Borel强大数定律，则保证了就算把这些事件并起来，概率也依然趋于零。
	
	换句话说，虽然逻辑上讲每次投硬币时都出现正面这个事情是可能的，但Borel强大数定律则断言这种情况出现的概率为0。
	
	\section{Kolmogorov强大数定律}
	Kolmogorov强大数定律是更一般的强大数定律。
	\begin{theorem}[H\"{a}jek-R\={e}nyi 不等式]
		如果$\{X_i\}_{i=1}^{\infty}$是独立随机变量列，其方差满足
		\begin{equation}
		Var X_i=\sigma_i^2<+\infty,\quad i=1,2,\cdots
		\end{equation}
		设$\{c_n\}$是正非增常数序列，则对于$\forall\ m,n\in\mathbb{N}^*,\ m<n$，以及$\epsilon>0$，都有
		\begin{equation}
		P\left(\max_{m\leq j\leq n}c_j\left|\sum_{i=1}^{j}(X_i-EX_i)\right|\geq\epsilon\right)\leq\frac{1}{\epsilon^2}\left(c_m^2\sum_{j=1}^{m}\sigma_j^2+\sum_{j=m+1}^{n}c_j^2\sigma_j^2\right)
		\end{equation}
		\begin{proof}
			记
			\begin{equation}
			S_k=\sum_{j=1}^{k}(X_j-EX_j)
			\end{equation}
			以及
			\begin{equation}\begin{aligned}
			\eta=\sum_{k=m}^{n-1}S_k^2(c_k^2-c_{k+1}^2)+c_n^2S_n^2
%			=\sum_{k=m}^{n}c_k^2S_k^2-\sum_{k=m}^{n-1}c_{k+1}^2S_k^2
			=c_m^2S_m^2+\sum_{k=m+1}^{n}c_k^2(S_k^2-S_{k-1}^2)
			\end{aligned}\end{equation}
			利用$\{X_i\}$的独立性，有
			\begin{equation}
			ES_k^2=\sum_{j=1}^k\sigma_j^2
			\end{equation}
			因此
			\begin{equation}\label{Eeta的定义}
			E\eta=c_m^2\sum_{j=1}^m\sigma_{j}^2+\sum_{k=m+1}^n c_k^2\sigma_k^2
			\end{equation}
			对于$j=m,m+1,\cdots,n$，记
			\begin{equation}
			E_j=\{c_k|S_k|<\epsilon,\ m\leq k<j;\ c_j|S_j|\geq\epsilon\}
			\end{equation}
			这样的$E_j$是不相交的。而且
			\begin{equation}\label{sumP的和}
			P\left(\max_{m\leq j\leq n}c_j\left|\sum_{i=1}^j(X_i-EX_i)\right|\geq\epsilon\right)=P\left(\max_{m\leq j\leq n}c_j|S_j|\geq\epsilon\right)=\sum_{j=m}^n P(E_j)
			\end{equation}
			$E_j$的意义是前几个$c_k|S_k|$都小于$\epsilon$，而只在最后一个$c_j|S_j|$大于$\epsilon$。因此，把这些$E_j$的概率加起来，就是最大的那个$c_j|S_j|$要大于$\epsilon$的概率。
			
			接下来引入$E_j$的示性函数
			\begin{equation}
			\xi_j(\omega)=\begin{cases}
			1,\quad \omega\in E_j\\
			0,\quad \omega\notin E_j
			\end{cases},\quad j=m,m+1,\cdots,n
			\end{equation}
			注意到$E_j$的互不相容性，有
			\begin{equation}
			\sum_{j=m}^n \xi_j(\omega)\leq 1,\quad (\sum_{j=m}^n E_j\subset\Omega)
			\end{equation}
			从而
			\begin{equation}\label{Eeta的不等式}
			E\eta\geq \sum_{j=m}^n E(\eta\xi_j)
			\end{equation}
			考虑到对于$j<k\leq n$，有
			\begin{equation}
			S_k=S_j+\sum_{l=j+1}^k(X_{l}-EX_{l})
			\end{equation}
			所以
			\begin{equation}\begin{aligned}
			E(S_k^2\xi_j)&=E(S_j^2\xi_j)+2E\left(\xi_j S_j\sum_{i=j+1}^k(X_l-EX_l)\right)+E\left[\xi_j\left(\sum_{l=j+1}^k(X_l-EX_l)\right)^2\right]\\
			&\geq E(S_j^2\xi_j)+2E\left(\xi_j S_j\sum_{i=j+1}^k(X_l-EX_l)\right)
			\end{aligned}\end{equation}
			由于$S_j\xi_j$只与$X_1,\cdots,X_j$有关，而与
			\begin{equation}
			\sum_{l=j+1}^k (X_l-EX_l)
			\end{equation}
			独立，所以
			\begin{equation}
			E\left(\xi_j S_j\sum_{i=j+1}^k(X_l-EX_l)\right)=E(\xi_jS_j)E\left(\sum_{i=j+1}^k(X_l-EX_l)\right)=0
			\end{equation}
			根据$E_j$的定义，此时$|S_j|\geq \epsilon/c_j$，从而
			\begin{equation}
			E(\xi_jS_k^2)\geq E(\xi_jS_j^2)\geq \frac{\epsilon^2}{c_j^2}E\xi_j=\frac{\epsilon^2}{c_j^2}P(E_j),\quad j\leq k\leq n
			\end{equation}
			现在当$m\leq j\leq n$时，有
			\begin{equation}\begin{aligned}
			E(\eta\xi_j)&=\sum_{k=m}^{n-1}(c_k^2-c_{k-1}^2)E(\xi_jS_k^2)+c_n^2E(\xi_jS_n^2)\\
			&\geq \sum_{k=j}^{n-1}(c_k^2-c_{k-1}^2)E(\xi_jS_k^2)+c_n^2E(\xi_jS_n^2)\\
			&\geq \left(\sum_{k=j}^{n-1}(c_k^2-c_{k+1}^2)+c_n^2\right)\frac{\epsilon^2}{c_j^2}P(E_j)=\epsilon^2P(E_j)
			\end{aligned}\end{equation}
			所以根据(\ref{Eeta的不等式})，有
			\begin{equation}
			E\eta\geq \sum_{j=m}^n E(\eta\xi_j)\geq \epsilon^2\sum_{j=m}^n P(E_j)
			\end{equation}
			其中，根据(\ref{Eeta的定义})，左边是
			\begin{equation}
			E\eta=c_m^2\sum_{j=1}^m\sigma_{j}^2+\sum_{k=m+1}^n c_k^2\sigma_k^2
			\end{equation}
			根据(\ref{sumP的和})，右边是
			\begin{equation}
			\sum_{j=m}^n P(E_j)=P\left(\max_{m\leq j\leq n}c_j\left|\sum_{i=1}^j(X_i-EX_i)\right|\geq\epsilon\right)
			\end{equation}
			即
			\begin{equation}
			P\left(\max_{m\leq j\leq n}c_j\left|\sum_{i=1}^{j}(X_i-EX_i)\right|\geq\epsilon\right)\leq\frac{1}{\epsilon^2}\left(c_m^2\sum_{j=1}^{m}\sigma_j^2+\sum_{j=m+1}^{n}c_j^2\sigma_j^2\right)
			\end{equation}\qed
		\end{proof}
	\end{theorem}
	在H\"{a}jek-R\={e}nyi 不等式中，令$m=1,c_j=1$，即可得Kolmogorov不等式：
	\begin{corollary}[Kolmogorov不等式]
		设$X_1,\cdots,X_n$是独立随机变量，方差有限，则对于$\forall \epsilon>0$，都有
		\begin{equation}
		P\left(\max_{1\leq j\leq n}\left|\sum_{i=1}^j(X_i-EX_i)\right|\geq\epsilon\right)\leq\frac{1}{\epsilon^2}\sum_{j=1}^n VarX_j
		\end{equation}
	\end{corollary}
	再令$n=1$，即可得Chebyshev不等式。
	
	\begin{theorem}[Kolmogorov强大数定律]
		设$\{X_i\}_{i=1}^{\infty}$是独立随机变量列，满足
		\begin{equation}
		\sum_{n=1}^{\infty}\frac{Var X_n}{n^2}<+\infty
		\end{equation}
		则
		\begin{equation}
		\frac{1}{n}\sum_{i=1}^n(X_i-EX_i)\stackrel{a.s.}{\to}0
		\end{equation}
	\end{theorem}
	\begin{proof}
		在H\"{a}jek-R\={e}nyi 不等式中，令$c_j=1/j$，有
		\begin{equation}
		P\left(\max_{m\leq j\leq n}\frac{1}{j}\left|\sum_{i=1}^j (X_i-EX_i)\right|\geq\epsilon\right)\leq \frac{1}{\epsilon^2}\left(\frac{1}{m^2}\sum_{j=1}^m VarX_j+\sum_{j=m+1}^n \frac{VarX_j}{j^2}\right)
		\end{equation}
		由概率的连续性，有
		\begin{equation}\begin{aligned}
		P\left(\sup_{j\geq m}\left|\frac{1}{j}\sum_{i=1}^j (X_i-EX_i)\right|\geq\epsilon\right)&=\lim\limits_{n\to\infty} P\left(\max_{m\leq j\leq n}\frac{1}{j}\left|\sum_{i=1}^j (X_i-EX_i)\right|\geq\epsilon\right)\\
		&\leq \frac{1}{\epsilon^2}\left(\frac{1}{m^2}\sum_{j=1}^{m} VarX_j+\sum_{j=m+1}^{\infty} \frac{VarX_j}{j^2}\right)
		\end{aligned}\end{equation}
		由于
		\begin{equation}
		\sum_{j=1}^{\infty}\frac{VarX_j}{j^2}<+\infty
		\end{equation}
		所以
		\begin{equation}
		\lim\limits_{m\to\infty}P\left(\max_{m\leq j\leq n}\frac{1}{j}\left|\sum_{i=1}^j (X_i-EX_i)\right|\geq\epsilon\right)=0
		\end{equation}
		这等价于
		\begin{equation}
		\frac{1}{n}\sum_{i=1}^n(X_i-EX_i)\stackrel{a.s.}{\to}0
		\end{equation}\qed
	\end{proof}

	在Kolmogorov强大数定律中，将$X_n$设定为事件$A$在$n$次独立试验中出现的次数，每次试验中事件$A$出现的概率均为$p$，那么$EX_n=np$，就有$X_n/n\stackrel{a.s.}{\to}p$，这正是Borel强大数定律。
	
	如果再加上$\{X_i\}_{i=1}^{\infty}$同分布的条件，那么就有如下定理：
	\begin{theorem}[Kolmogorov]
		设$\{X_i\}_{i=1}^{\infty}$独立同分布，则
		\begin{equation}
		\frac{1}{n}\sum_{i=1}^n X_i \stackrel{a.s.}{\to}a
		\end{equation}
		的充分必要条件是$EX_i$存在且等于$a$。
	\end{theorem}
	\begin{proof}
		必要性。首先，设$X$的分布函数为$F(x)$，我们来证明
		\begin{equation}
		\sum_{n=1}^{\infty}P(|X|\geq n)\leq E|X| \leq 1+\sum_{n=1}^{\infty}P(|X|\geq n)
		\end{equation}
		我们有
		\begin{equation}
		E|X|=\int_{-\infty}^{+\infty}|x|dF(x)=\sum_{k=0}^{\infty}\int_{k\leq|x|<k+1}|x|dF(x)
		\end{equation}
		所以
		\begin{equation}
		\sum_{k=0}^{\infty}kP(k\leq |X|<k+1)\leq E|X|\leq \sum_{k=0}^{\infty}(k+1)P(k\leq |X|<k+1)
		\end{equation}
		其中左边
		\begin{equation}
		\sum_{k=0}^{\infty}kP(k\leq |X|<k+1)=\sum_{n=1}^{\infty}\sum_{k=n}^{\infty}P(k\leq |X|<k+1)=\sum_{n=1}^{\infty}P(|X|\geq n)
		\end{equation}
		以及右边
		\begin{equation}
		\sum_{k=0}^{\infty}(k+1)P(k\leq |X|<k+1)=1+\sum_{k=0}^{\infty}kP(k\leq |X|<k+1)=1+\sum_{n=1}^{\infty}P(|X|\geq n)
		\end{equation}
		这就证明了不等式。这个不等式说明，$E|X|<\infty$的充分必要条件是
		\begin{equation}
		\sum_{n=1}^{\infty}P(|X|\geq n)<\infty
		\end{equation}
		记$S_n=X_1+\cdots+X_n$，如果$S_n/n\stackrel{a.s.}{\to}\mu\in\mathbb{R}$，则
		\begin{equation}
		\frac{X_n}{n}=\frac{S_n}{n}-\frac{n-1}{n}\frac{S_{n-1}}{n-1}\stackrel{a.s.}{\to}0
		\end{equation}
		利用几乎必然收敛的等价刻画，有
		\begin{equation}
		P\left(\bigcap_{k=1}^{\infty}\bigcup_{n=k}^{\infty}\left(\left|\frac{X_n}{n}\right|\geq \epsilon\right)\right)=0
		\end{equation}
		取$\epsilon=1$，根据Borel-Cantelli引理，有
		\begin{equation}
		\sum_{n=1}^{\infty}P\left(\left|X_n\right|\geq n\right)<\infty
		\end{equation}
		从而$EX_i$存在。这时显然有$a=EX_i$，必要性得证。
		
		再证明充分性。令
		\begin{equation}
		X_n^*=\begin{cases}
		X_n,\quad &|X_n|<n\\
		0,\quad &|X_n|\geq n
		\end{cases}
		\end{equation}
		先验证$X_n^*$满足Kolmogorov强大数定律的条件。有
		\begin{equation}
		VarX_n^*\leq E{X_n^*}^2 = \int_{-n}^{n}x^2dF(x)\leq \sum_{k=1}^n k^2P(k-1\leq |X|< k)
		\end{equation}
		从而
		\begin{equation}\begin{aligned}
		\sum_{n=1}^{\infty}\frac{VarX_n^*}{n^2}&\leq \sum_{n=1}^{\infty}\sum_{k=1}^n \frac{k^2}{n^2}P(k-1\leq |X|< k)\\
		&=\sum_{k=1}^{\infty}\sum_{n=k}^{\infty}\frac{k^2}{n^2}P(k-1\leq |X|< k)\\
		&=\sum_{k=1}^{\infty}k^2P(k-1\leq |X|< k)\sum_{n=k}^{\infty}\frac{1}{n^2}
		\end{aligned}\end{equation}
		注意到
		\begin{equation}
		\sum_{n=k}^{\infty}\frac{1}{n^2}<\frac{1}{k^2}+\sum_{n=k+1}^{\infty}\frac{1}{n(n-1)}=\frac{1}{k^2}+\frac{1}{k}\leq \frac{2}{k}
		\end{equation}
		从而
		\begin{equation}
		\sum_{n=1}^{\infty}\frac{VarX_n^*}{n^2}\leq 2\sum_{k=1}^{\infty}kP(k-1\leq |X|< k)\leq 2(E|X|+1)<\infty
		\end{equation}
		所以根据Kolmogorov强大数定律，有
		\begin{equation}
		P\left(\lim\limits_{n\to\infty}\frac{1}{n}\sum_{i=1}^n(X_i^*-EX_i^*)=0\right) = 1
		\end{equation}
		又因为
		\begin{equation}
		EX_n^*=\int_{-n}^{n}xdF(x)
		\end{equation}
		所以
		\begin{equation}
		\lim\limits_{n\to\infty}EX_n^*=EX_1=a\quad\Rightarrow\quad \lim\limits_{n\to\infty}\frac{1}{n}\sum_{i=1}^n EX_i^* = EX_1=a
		\end{equation}
		根据三角不等式，
		\begin{equation}
		\left|\frac{1}{n}\sum_{i=1}^n(X_i-a)\right|\leq \left|\frac{1}{n}\sum_{i=1}^n(X_i-X_i^*)\right|+\left|\frac{1}{n}\sum_{i=1}^n(X_i^*-EX_i^*)\right|+\left|\frac{1}{n}\sum_{i=1}^n(EX_i^*-a)\right|
		\end{equation}
		不等式右边第二项已经由Kolmogorov强大数定律证明是几乎必然收敛于$0$了，第三项也已经证明是收敛于$0$的数列，接下来只需证明第一项几乎必然收敛于$0$即可。由于
		\begin{equation}
		\sum_{i=1}^{\infty}P(X_i\neq X_i^*)=\sum_{i=1}^{\infty}P(|X_i|\geq i)\leq E|X_1|<\infty
		\end{equation}
		根据Borel-Cantelli引理，有
		\begin{equation}
		P\left(\bigcap_{k=1}^{\infty}\bigcup_{i=k}^{\infty}(X_i\neq X_i^*)\right)=0
		\end{equation}
		从而
		\begin{equation}
		P\left(\lim\limits_{n\to\infty}\frac{1}{n}\sum_{i=1}^n (X_i-X_i^*)=0\right)=1
		\end{equation}
		最终，即有
		\begin{equation}
		\left|\frac{1}{n}\sum_{i=1}^n(X_i-a)\right|\stackrel{a.s.}{\to}0
		\end{equation}
		\qed
	\end{proof}

	这个结果是Khinchine弱大数定律的加强版本，而只有这个结果才能保证在每次试验当中，每当$n\to\infty$时，子样的均值
	\begin{equation}
	\frac{1}{n}\sum_{i=1}^n X_i
	\end{equation}
	最终将趋于母体的均值，而不能趋于母体均值的情形的概率则为0。这个结果也是用蒙特卡洛方法计算积分的基础。
	
	
	\section{Lindeberg-L\'{e}vy中心极限定理}
	首先有关于特征函数的连续性定理，这是证明Lindeberg-L\'{e}vy中心极限定理所必须的。
	
	\begin{definition}[依分布收敛]
		设$F$是随机变量$X$的分布函数，$F_n$是$X_n$的分布函数。若$x$是$F(x)$的连续点，且$\lim\limits_{n\to\infty}F_n(x)=F(x)$，则称$X_n$依分布收敛到$X$，记为$X_n\stackrel{d}{\to}X$。
	\end{definition}
%	\begin{theorem}[连续性定理]
%		设$\phi_n(t)$是$X_n$的特征函数，$\phi(t)$是$X$的特征函数。则$X_n\stackrel{d}{\to}X$当且仅当对于$\forall t\in\mathbb{R}$，
%		\begin{equation}
%			\lim\limits_{n\to\infty}\phi_n(t)=\phi(t)
%		\end{equation}
%	\end{theorem}
%	\begin{proof}
%		必要性
%	\end{proof}
	\begin{definition}[分布函数的弱收敛]
		设$\{F_n(x)\}$是分布函数列，如果存在非减函数$F(x)$，使得$F$在任一连续点都有
		\begin{equation}
		\lim_{n\to\infty} F_n(x)=F(x)
		\end{equation}
		则称$F_n$弱收敛于$F$，记为$F_n\stackrel{W}{\to}F$
	\end{definition}
	注意，此处的$F(x)$并不一定也是分布函数。比如说对于
	\begin{equation}
	F_n(x)=\begin{cases}
	1,\quad x\geq n\\
	0,\quad x< n
	\end{cases}
	\end{equation}
	此时$F(x)=0$，就不是一个分布函数。
	
	\begin{theorem}[连续性定理]
		设$X_n$是一列随机变量，$F_n(x)$是其分布函数列，对应的$\phi_n(t)$是特征函数。那么
		\begin{enumerate}
			\item 如果$F_n(x)$弱收敛于$F(x)$，则对于$\forall t\in\mathbb{R}$，$\phi_n(t)\to \phi(t)$，其中$\phi(t)$是$F(x)$的特征函数。
			\item 如果$\phi_n(t)$逐点收敛于$\phi(t)$，且$\phi(t)$在$0$处连续，则其对应的$F_n(x)$紧致，且弱收敛于$F(x)$。
		\end{enumerate}
	\end{theorem}
	\begin{proof}
		1显然，下面证明2。
		
		首先证明紧致性。我们有
		\begin{equation}
		\int_{-u}^{u}1-e^{itx}dt=2u-\int_{-u}^{u}(\cos(tx)+i\sin(tx))dt=2u-\frac{2\sin(ux)}{x}
		\end{equation}
		其中两边除以$u$，对$dF_n$积分可得左边为
		\begin{equation}
		\frac{1}{u}\int dF_n\int_{-u}^{u}(1-e^{itx})dt=\frac{1}{u}\int_{-u}^{u}dt\int(1-e^{itx})dF_n=\frac{1}{u}\int_{-u}^{u}(1-\phi_n(t))dt
		\end{equation}
		而右边为
		\begin{equation}
		\frac{1}{u}\int 2u-\frac{2\sin(ux)}{x}dF_n=2\int 1-\frac{\sin(ux)}{ux}dF_n
		\end{equation}
		记概率测度$\mu_n(dx)=dF_n$，则有
		\begin{equation}
		2\int 1-\frac{\sin(ux)}{ux}\mu_n(dx)\geq \int_{|x|\geq\frac{2}{u}}\left(1-\frac{1}{|ux|}\right)\mu_n(dx)\geq \mu_n\left(\left\{x:|x|>\frac{2}{u}\right\}\right)
		\end{equation}
		由于
		\begin{equation}
		\lim\limits_{t\to 0}\phi(t)=1
		\end{equation}
		所以存在$u$使得
		\begin{equation}
		\frac{1}{u}\int_{-u}^{u}(1-\phi(t))dt<\epsilon
		\end{equation}
		又由于$\phi_n(t)$逐点收敛于$\phi(t)$，所以由有界收敛定理，对于$\forall n\geq N$，
		\begin{equation}
		2\epsilon>\frac{1}{u}\int_{-u}^{u}(1-\phi_n(t))dt\geq \mu_n\left\{x:|x|>\frac{2}{u}\right\}
		\end{equation}
		从而$\mu_n$是紧致的，也就是$F_n$是紧致的，并且收敛于$F$。
		
		\qed
	\end{proof}
	
	\begin{theorem}[Lindeberg-L\'{e}vy中心极限定理]
		设$X_1,X_2,\cdots$是一系列独立同分布的随机变量，有着相同的数学期望$EX_i=\mu$，以及相同的方差$VarX_i=\sigma^2$，而且期望、方差均有限。那么
		\begin{equation}
		\xi_n=\frac{S_n-n\mu}{\sqrt{n\sigma^2}}\stackrel{d}{\to}N(0,1),\quad n\to\infty
		\end{equation}
		其中$S_n=X_1+\cdots+X_n$。
	\end{theorem}
	\begin{proof}
		考虑$\mu=0,\ \sigma^2=1$的情形。此时$\phi(t)=Ee^{itX_i}$，有
		\begin{equation}
		\phi(0)=1,\quad \phi'(0)=iEX_i=0,\quad \phi''(0)=i^2EX_i^2=-1
		\end{equation}
		展开$\phi(t)$可得
		\begin{equation}
		\phi(t)=1-\frac{1}{2}t^2+o(t^2),\quad t\to 0
		\end{equation}
		此时有
		\begin{equation}
		\xi_n=\frac{1}{\sqrt{n}}\sum_{i=1}^n X_i
		\end{equation}
		从而
		\begin{equation}
		\phi_{\xi}(t)=Ee^{it\xi_n}=\prod_{i=1}^n Ee^{i\frac{t}{\sqrt{n}}X_i}=\phi^n\left(\frac{t}{\sqrt{n}}\right)=\left(1-\frac{t^2}{2n}+o(t^2)\right)^n
		\end{equation}
		故
		\begin{equation}
		\lim\limits_{n\to\infty}\phi_{\xi}(t)=\lim\limits_{n\to\infty}\left(1-\frac{t^2}{2n}+o(t^2)\right)^n=e^{-\frac{t^2}{2}}
		\end{equation}
		由连续性定理，有
		\begin{equation}
		\xi_n=\frac{S_n}{\sqrt{n}}\stackrel{d}{\to}N(0,1)
		\end{equation}
		从而证明了$\mu=0,\ \sigma^2=1$的情形。再考虑
		\begin{equation}
		Y_i=\frac{X_i-\mu}{\sigma}
		\end{equation}
		即可。\qed
	\end{proof}
	
	\section{Lindeberg-Feller中心极限定理}
	Lindeberg-L\'{e}vy中心极限定理描述的是独立同分布的随机变量和的极限分布。而下面的中心极限定理是更广泛的情形。中心极限定理成立的充分条件由Lindeberg在1922年提出充分条件，而必要条件则由Feller在1935年提出。我们设$\{X_n\}_{n=1}^{\infty}$是一个相互独立的随机变量列，它们具有有限的数学期望和方差：
	\begin{equation}
	a_k=EX_k,\quad b_k^2=VarX_k,\quad k\in\mathbb{N}^*
	\end{equation}
	记
	\begin{equation}
	B_n^2=\sum_{k=1}^n b_k^2,\quad S_n=\sum_{k=1}^n \frac{X_k-a_k}{B_n}
	\end{equation}
	我们需要寻找$S_n$趋于正态分布函数的充分必要条件。设$F_k(x)$是$X_k$的分布函数，那么为了讨论$S_n$的极限分布，需要对每一项有一些限定条件，否则比如说第二项往后全是$0$的话，就没什么意义了。因此，需要先扣除掉一些系统误差，而保留随机误差，以让每一项都不能起到决定性的作用，均匀地小。
	
	一种刻画“各项均匀地小”的方案如下：设$A_k$表示下述事件：
	\begin{equation}
	A_k=\{|X_k-a_k|>\epsilon B_n\},\quad k\in\mathbb{N}^*
	\end{equation}
	则有
	\begin{equation}
	P\left\{\max_{1\leq k\leq n}|X_k-a_k|>\epsilon B_n\right\}=P\left\{\bigcup_{k=1}^n A_k\right\}\leq \sum_{k=1}^n P(A_k)	
	\end{equation}
	而
	\begin{equation}
	\sum_{k=1}^n P(A_k)=\sum_{k=1}^n\int_{|x-a_k|>\epsilon B_n}dF_k(x)\leq \frac{1}{(\epsilon B_n)^2}\sum_{k=1}^n \int_{|x-a_k|>\epsilon B_n}(x-a_k)^2dF_k
	\end{equation}
	因此，只要保证对于$\forall \epsilon>0$都有
	\begin{equation}
	\lim\limits_{n\to\infty}\frac{1}{B_n^2}\sum_{k=1}^n\int_{|x-a_k|>\epsilon B_n}(x-a_k)^2dF_k=0
	\end{equation}
	这样的话，出现某个$X_k$与$a_k$偏离过大的情形的概率就趋于零，这就刻画了“各项贡献均匀地小”这个事情。
	
	这个条件称为Lindeberg条件：
	\begin{definition}[Lindeberg条件]
		对于独立随机变量列$X_n$，如果对于$\forall\epsilon>0$，满足
		\begin{equation}
		\lim\limits_{n\to\infty}\frac{1}{B_n^2}\sum_{k=1}^n\int_{|x-a_k|>\epsilon B_n}(x-a_k)^2dF_k=0
		\end{equation}
		我们就称其满足Lindeberg条件。
	\end{definition}
	
	\begin{definition}[Feller条件]
		对于独立随机变量列$X_n$，如果满足
		\begin{equation}
		\lim_{n\to\infty} \max_{k\leq n}\frac{b_k}{B_n}=0
		\end{equation}
		则称其满足Feller条件。
	\end{definition}
	
	\begin{theorem}[Feller条件等价条件]
		Feller条件成立的充分必要条件是
		\begin{equation}
		\lim_{n\to\infty} B_n=\infty,\quad
		\lim_{n\to\infty} \frac{b_n}{B_n}=0
		\end{equation}
	\end{theorem}
	\begin{proof}
		必要性。由于
		\begin{equation}
		\frac{b_n}{B_n}\leq\max_{k\leq n}\frac{b_k}{B_n}
		\end{equation}
		所以$b_n/B_n\to 0$。另一方面(反证法)，如果$B_n\to B<\infty$，那么不放假定$b_1>0$，则
		\begin{equation}
		\lim_{n\to\infty}\max_{k\leq n}\frac{b_k}{B_n}\geq \frac{b_1}{B_n}>0
		\end{equation}
		产生矛盾。从而必要性得证。
		
		充分性。对于$\forall\epsilon>0$，存在$M\in\mathbb{N}^*$，使得对于$\forall k>M$，都有
		\begin{equation}
		\frac{b_k}{B_k} <\epsilon
		\end{equation}
		
		那么，又存在$N\geq M$，使得
		\begin{equation}
		\max_{k\leq M}\frac{b_k}{B_N}<\epsilon
		\end{equation}
		
		现在，由于$B_n$是不严格单调递增的，对于$n\geq N\geq M$，都有
		\begin{equation}
		\max_{k\leq M}\frac{b_k}{B_n}\leq \max_{k\leq M}\frac{b_k}{B_N}<\epsilon,\quad \max_{M<k\leq n}\frac{b_k}{B_n}\leq\max_{M<k\leq n}\frac{b_k}{B_k}<\epsilon
		\end{equation}
		这正是Feller条件。
		\qed
	\end{proof}
	事实上， $b_k/B_n$可以看作是$X_k$对总和$S_n$的贡献。Feller条件说的就是，做许多“微小的贡献”，然后加总为总贡献。
	
	\begin{theorem}[Lindeberg-Feller中心极限定理]
		对于独立随机变量列$\{X_n\}_{n=1}^{\infty}$，Lindeberg条件成立，当且仅当Feller条件以及
		\begin{equation}
		\lim_{n\to\infty} P(S_n<x)=\frac{1}{\sqrt{2\pi}}\int_{-\infty}^{x}e^{-\frac{t^2}{2}}dt
		\end{equation}
		同时成立。
	\end{theorem}
	\begin{proof}
		略。
		
		\qed
	\end{proof}

	也就是说，Lindeberg条件等价于
	\begin{enumerate}
		\item Feller条件，且
		\item 当$n\to\infty$时，总和$S_n$服从标准正态分布
	\end{enumerate}

	当把$X_n$当作独立且同分布的随机变量列，那么$a_k=\mu$，$0<b_k<\infty$，$B_n=\sqrt{n}\sigma$，这时Lindeberg条件写为对于$\forall\epsilon>0$，
	\begin{equation}
	\lim_{n\to\infty} \frac{1}{n\sigma^2}\sum_{k=1}^n \int_{|x-\mu|>\epsilon\sigma\sqrt{n}}(x-\mu)^2dF_k=\lim_{n\to\infty}\int_{|x-\mu|>\epsilon\sigma\sqrt{n}}\left(\frac{x-\mu}{\sigma}\right)^2 dF_k=0
	\end{equation}
	右边的积分显然会趋于零，Lindeberg条件成立，从而
	\begin{equation}
	S_n=\sum_{k=1}^n\frac{X_k-a_k}{B_n}=\sum_{k=1}^n\frac{X_k-\mu}{\sqrt{n}\sigma}\sim N(0,1)
	\end{equation}
	这正是Lindeberg-L\'{e}vy中心极限定理。
	
	\begin{theorem}[Liapunoff中心极限定理]
		对于独立随机变量列$\{X_n\}_{n=1}^{\infty}$，如果存在常数$\delta>0$，使得
		\begin{equation}
		\lim_{n\to\infty} \frac{1}{B_n^{2+\delta}}\sum_{k=1}^n E|X_k-a_k|^{2+\delta}=0
		\end{equation}
		那么
		\begin{equation}
		\lim_{n\to\infty} P\left(\frac{1}{B_n}\sum_{k=1}^n (X_k-a_k)<x\right)=\frac{1}{\sqrt{2\pi}}\int_{-\infty}^{x}e^{-\frac{t^2}{2}}dt
		\end{equation}
	\end{theorem}
	\begin{proof}
		只需验证Lindeberg条件即可。对于$\forall\epsilon>0$，有
		\begin{equation}\begin{aligned}
		\lim_{n\to\infty}\frac{1}{B_n^2}\sum_{k=1}^n \int_{|x-a_k|>\epsilon B_n}(x-a_k)^2 dF_k &\leq \lim_{n\to\infty}\frac{1}{B_n^2}\sum_{k=1}^n\int_{|x-a_k|>\epsilon B_n}(x-a_k)^2\left|\frac{x-a_k}{\epsilon B_n}\right|^\delta dF_k\\
		&= \frac{1}{\epsilon^{\delta}}\lim_{n\to\infty}\cdot\frac{1}{B_n^{2+\delta}}\sum_{k=1}^n\int_{|x-a_k|>\epsilon B_n}|x-a_k|^{2+\delta}dF_k\\
		&\leq \frac{1}{\epsilon^{\delta}}\lim_{n\to\infty}\cdot\frac{1}{B_n^{2+\delta}}\sum_{k=1}^n\int_{\mathbb{R}}|x-a_k|^{2+\delta}dF_k=0
		\end{aligned}\end{equation}
		从而根据Lindeberg-Feller中心极限定理，
		\begin{equation}
		\lim_{n\to\infty} P\left(\frac{1}{B_n}\sum_{k=1}^n (X_k-a_k)<x\right)=\frac{1}{\sqrt{2\pi}}\int_{-\infty}^{x}e^{-\frac{t^2}{2}}dt
		\end{equation}
		\qed
	\end{proof}



	%\part{概率论应用}